{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "df770c72",
   "metadata": {},
   "source": [
    "# YouTube transcripts\n",
    "\n",
    ">[YouTube](https://www.youtube.com/) is an online video sharing and social media platform created by Google.\n",
    "\n",
    "This notebook covers how to load documents from `YouTube transcripts`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "427d5745",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain_community.document_loaders import YoutubeLoader"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "34a25b57",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "%pip install --upgrade --quiet  youtube-transcript-api"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bc8b308a",
   "metadata": {},
   "outputs": [],
   "source": [
    "loader = YoutubeLoader.from_youtube_url(\n",
    "    \"https://www.youtube.com/watch?v=QsYGlZkevEg\", add_video_info=False\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d073dd36",
   "metadata": {},
   "outputs": [],
   "source": [
    "loader.load()"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "fc417e31",
   "metadata": {},
   "source": [
    "## Загрузка транскрибации видео\n",
    "Дополнительно можно указать язык оригинальной аудиодорожки, которую нужно использовать, и язык на который требуется перевод.\n",
    "Параметр add_video_info=True указывает на то, что кроме текста требуется загрузить дополнительную информацию о ролике.\n",
    "\n",
    "В данном примере мы используем небольшое видео, в котором трое ученых обсуждают проблемы науки.\n",
    "%pip install --upgrade --quiet  pytube"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "08510625",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Давайте начнем с того, что нет никакой науки вообще есть отдельные конкретные дисциплины. И внутри каждой конкретной науки есть свои собственные методы, свои этапы доказательств, и свои собственные представления о том, что является истиной. Это огромный муравейник, в котором каждый муравей не то, что выполняет какую-то функцию он выполняет там часть функций. Очень сложная структура, которая пытается решить прежние вопросы: как улучшить нашу жизнь или понять, как устроен мир. Современная наука для меня – это двигатель научного прогресса. Это реакторное материаловедение, которым я занимаюсь, это различные технологии, которые применимы для гуманитарного назначения. Такие как изотопная продукция, очистка воды, опреснение воды. Я могу говорить про атомную энергетику, и с точки зрения атомной энергетики современная наука – это не только обеспечение людей чистой энергией и безопасной энергией это пласт проблем, целый пласт работ, который находит применение в любой сфере нашей жизнедеятельности. Я эколог, и моя наука относительно молода, но при этом обладает огромным количеством направлений. Экология – это не про защиту окружающей среды, и не про охрану окружающей среды. Этим занимаются, собственно, направления охраны окружающей среды, которые так и называются, все логично. Экология – это про взаимосвязь, например, твою, твою как индивидуума, с окружающей средой. Каким воздухом ты дышишь, что тебе хорошо, какие питательные вещества в тебя поступают, что ты выделяешь в процессе своей жизнедеятельности. Это касается и отходов в плане мусора, в том числе. Наука – это наш лучший инструмент для познания окружающей реальности, но даже в науке встречаются косяки, встречаются примеры подлогов и фальсификаций. Например, мы знаем, что даже очень влиятельные люди могут иметь списанные диссертации, и при этом быть ректорами вузов. На ученых есть очень большое давление, для того чтобы публиковаться. От того, как много у вас статей, зависит ваше финансирование, от этого зависит то, как воспринимают вас коллеги. Это приводит к такой проблеме, которая называется по-английски publish or perish публикуйся или умри, или исчезни. Люди пытаются придумать какие-то способы как хакнуть эту систему. Давайте вольем одну статью, и разобьем её на 10, чтобы было больше публикаций.'"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "loader = YoutubeLoader.from_youtube_url(\n",
    "    \"https://www.youtube.com/watch?v=PIedulkk48k\",\n",
    "    add_video_info=True,\n",
    "    language=[\"ru\", \"id\"],\n",
    "    translation=\"ru\",\n",
    ")\n",
    "documents = loader.load()\n",
    "text = documents[0].page_content\n",
    "text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "4086fcca",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "No `_type` key found, defaulting to `prompt`.\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'Ниже приведен набор фактов и мыслей. Выдели из них 7 самых важных.\\n\\n\"Давайте начнем с того, что нет никакой науки вообще есть отдельные конкретные дисциплины. И внутри каждой конкретной науки есть свои собственные методы, свои этапы доказательств, и свои собственные представления о том, что является истиной. Это огромный муравейник, в котором каждый муравей не то, что выполняет какую-то функцию он выполняет там часть функций. Очень сложная структура, которая пытается решить прежние вопросы: как улучшить нашу жизнь или понять, как устроен мир. Современная наука для меня – это двигатель научного прогресса. Это реакторное материаловедение, которым я занимаюсь, это различные технологии, которые применимы для гуманитарного назначения. Такие как изотопная продукция, очистка воды, опреснение воды. Я могу говорить про атомную энергетику, и с точки зрения атомной энергетики современная наука – это не только обеспечение людей чистой энергией и безопасной энергией это пласт проблем, целый пласт работ, который находит применение в любой сфере нашей жизнедеятельности. Я эколог, и моя наука относительно молода, но при этом обладает огромным количеством направлений. Экология – это не про защиту окружающей среды, и не про охрану окружающей среды. Этим занимаются, собственно, направления охраны окружающей среды, которые так и называются, все логично. Экология – это про взаимосвязь, например, твою, твою как индивидуума, с окружающей средой. Каким воздухом ты дышишь, что тебе хорошо, какие питательные вещества в тебя поступают, что ты выделяешь в процессе своей жизнедеятельности. Это касается и отходов в плане мусора, в том числе. Наука – это наш лучший инструмент для познания окружающей реальности, но даже в науке встречаются косяки, встречаются примеры подлогов и фальсификаций. Например, мы знаем, что даже очень влиятельные люди могут иметь списанные диссертации, и при этом быть ректорами вузов. На ученых есть очень большое давление, для того чтобы публиковаться. От того, как много у вас статей, зависит ваше финансирование, от этого зависит то, как воспринимают вас коллеги. Это приводит к такой проблеме, которая называется по-английски publish or perish публикуйся или умри, или исчезни. Люди пытаются придумать какие-то способы как хакнуть эту систему. Давайте вольем одну статью, и разобьем её на 10, чтобы было больше публикаций.\"\\n\\nОсновные 7 фактов из текста:'"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from langchain.prompts import load_prompt\n",
    "\n",
    "prompt = load_prompt(\"lc://prompts/summarize/map_reduce/combine.yaml\")\n",
    "\n",
    "request = prompt.format(text=text)\n",
    "request"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "73a4b4d9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1. Нет науки как единой системы знаний.\n",
      "2. Внутри каждой науки есть свои методы и этапы доказательства.\n",
      "3. Современная наука решает множество проблем, включая улучшение жизни людей и понимание устройства мира.\n",
      "4. Наука имеет огромное количество направлений, таких как экология, атомная энергетика, медицина и др.\n",
      "5. В науке существуют проблемы фальсификации данных и давления со стороны коллег.\n",
      "6. Ученые должны публиковать свои работы, чтобы продвигаться в карьере и получать финансирование.\n",
      "7. Хакерство методов публикации может помочь ученым увеличить число своих публикаций.\n"
     ]
    }
   ],
   "source": [
    "from langchain.chat_models import GigaChat\n",
    "from langchain.schema import HumanMessage\n",
    "\n",
    "chat = GigaChat(credentials=...)\n",
    "resp = chat([HumanMessage(content=request)])\n",
    "\n",
    "print(f\"{resp.content}\")"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "65796cc5",
   "metadata": {},
   "source": [
    "## YouTube loader from Google Cloud\n",
    "\n",
    "### Prerequisites\n",
    "\n",
    "1. Create a Google Cloud project or use an existing project\n",
    "1. Enable the [Youtube Api](https://console.cloud.google.com/apis/enableflow?apiid=youtube.googleapis.com&project=sixth-grammar-344520)\n",
    "1. [Authorize credentials for desktop app](https://developers.google.com/drive/api/quickstart/python#authorize_credentials_for_a_desktop_application)\n",
    "1. `pip install --upgrade google-api-python-client google-auth-httplib2 google-auth-oauthlib youtube-transcript-api`\n",
    "\n",
    "### 🧑 Instructions for ingesting your Google Docs data\n",
    "By default, the `GoogleDriveLoader` expects the `credentials.json` file to be `~/.credentials/credentials.json`, but this is configurable using the `credentials_file` keyword argument. Same thing with `token.json`. Note that `token.json` will be created automatically the first time you use the loader.\n",
    "\n",
    "`GoogleApiYoutubeLoader` can load from a list of Google Docs document ids or a folder id. You can obtain your folder and document id from the URL:\n",
    "Note depending on your set up, the `service_account_path` needs to be set up. See [here](https://developers.google.com/drive/api/v3/quickstart/python) for more details."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c345bc43",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Init the GoogleApiClient\n",
    "from pathlib import Path\n",
    "\n",
    "from langchain_community.document_loaders import GoogleApiClient, GoogleApiYoutubeLoader\n",
    "\n",
    "google_api_client = GoogleApiClient(credentials_path=Path(\"your_path_creds.json\"))\n",
    "\n",
    "\n",
    "# Use a Channel\n",
    "youtube_loader_channel = GoogleApiYoutubeLoader(\n",
    "    google_api_client=google_api_client,\n",
    "    channel_name=\"Reducible\",\n",
    "    captions_language=\"en\",\n",
    ")\n",
    "\n",
    "# Use Youtube Ids\n",
    "\n",
    "youtube_loader_ids = GoogleApiYoutubeLoader(\n",
    "    google_api_client=google_api_client, video_ids=[\"TrdevFK_am4\"], add_video_info=True\n",
    ")\n",
    "\n",
    "# returns a list of Documents\n",
    "youtube_loader_channel.load()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "vscode": {
   "interpreter": {
    "hash": "604c1013f65d31a2eb1fca07aae054bedd5a5a0d272dbb31e502c81f0b254b99"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
